大型的语言模型（PRELMS）正在彻底改变所有基准的自然语言处理。但是，它们的巨大尺寸对于小型实验室或移动设备上的部署而言是过分的。修剪和蒸馏等方法可减少模型尺寸，但通常保留相同的模型体系结构。相反，我们探索了蒸馏预告片中的更有效的架构，单词的持续乘法（CMOW），该构造将每个单词嵌入为矩阵，并使用矩阵乘法来编码序列。我们扩展了CMOW体系结构及其CMOW/CBOW-HYBRID变体，具有双向组件，以提供更具表现力的功能，在预绘制期间进行一般（任务无义的）蒸馏的单次表示，并提供了两种序列编码方案，可促进下游任务。句子对，例如句子相似性和自然语言推断。我们的基于矩阵的双向CMOW/CBOW-HYBRID模型在问题相似性和识别文本范围内的Distilbert具有竞争力，但仅使用参数数量的一半，并且在推理速度方面快三倍。除了情感分析任务SST-2和语言可接受性任务COLA外，我们匹配或超过ELMO的ELMO分数。但是，与以前的跨架结构蒸馏方法相比，我们证明了检测语言可接受性的分数增加了一倍。这表明基于基质的嵌入可用于将大型预赛提炼成竞争模型，并激励朝这个方向进行进一步的研究。

Selecting an effective training signal for tasks in natural language processing is difficult: collecting expert annotations is expensive, and crowd-sourced annotations may not be reliable. At the same time, recent work in machine learning has demonstrated that learning from soft-labels acquired from crowd annotations can be effective, especially when there is distribution shift in the test set. However, the best method for acquiring these soft labels is inconsistent across tasks. This paper proposes new methods for acquiring soft-labels from crowd-annotations by aggregating the distributions produced by existing methods. In particular, we propose to find a distribution over classes by learning from multiple-views of crowd annotations via temperature scaling and finding the Jensen-Shannon centroid of their distributions. We demonstrate that using these aggregation methods leads to best or near-best performance across four NLP tasks on out-of-domain test sets, mitigating fluctuations in performance when using the constituent methods on their own. Additionally, these methods result in best or near-best uncertainty estimation across tasks. We argue that aggregating different views of crowd-annotations as soft-labels is an effective way to ensure performance which is as good or better than the best individual view, which is useful given the inconsistency in performance of the individual methods.

The analysis of digitized historical manuscripts is typically addressed by paleographic experts. Writer identification refers to the classification of known writers while writer retrieval seeks to find the writer by means of image similarity in a dataset of images. While automatic writer identification/retrieval methods already provide promising results for many historical document types, papyri data is very challenging due to the fiber structures and severe artifacts. Thus, an important step for an improved writer identification is the preprocessing and feature sampling process. We investigate several methods and show that a good binarization is key to an improved writer identification in papyri writings. We focus mainly on writer retrieval using unsupervised feature methods based on traditional or self-supervised-based methods. It is, however, also comparable to the state of the art supervised deep learning-based method in the case of writer classification/re-identification.

对AI的道德影响和值得信赖系统的设计的研究需要分析使用AI系统的方案，这与“用例”的软件工程概念和“预期目的”法律术语有关。但是，没有用于涵盖使用，范围，功能要求和AI系统风险的用例文档的标准方法。在这项工作中，我们为AI用例提出了一种新颖的文档方法，特别关注情感计算领域。我们的方法基于对研究文献中记录的用例信息需求的评估以及最近提议的AI欧洲监管框架。通过此评估，我们采用并调整了统一的建模语言（UML），在过去的二十年中，这主要由软件工程师使用。然后，每个用例都由UML图和一个结构化表表示，我们提供了一组示例，说明了其在几种情感计算方案中的应用。

目前，自然语言理解（NLU）中最根本的两个挑战是：（a）如何以“正确”的原因确定基于深度学习的模型是否在NLU基准上得分很高；（b）了解这些原因甚至是什么。我们研究了关于两个语言“技能”的阅读理解模型的行为：核心分辨率和比较。我们为从系统中预期的推理步骤提出了一个定义，该系统将“缓慢阅读”，并将其与各种大小的贝特家族的五个模型的行为进行比较，这是通过显着分数和反事实解释观察到的。我们发现，对于比较（而不是核心），基于较大编码器的系统更有可能依靠“正确”的信息，但即使他们在概括方面也很难，表明他们仍然学习特定的词汇模式，而不是比较的一般原则。

我们介绍了在Neurips'22接受的Chalearn Meta学习系列中的新挑战的设计和基线结果，重点是“跨域”元学习。元学习旨在利用从以前的任务中获得的经验，以有效地解决新任务（即具有更好的性能，较少的培训数据和/或适度的计算资源）。尽管该系列中的先前挑战集中在域内几乎没有学习问题，但目的是有效地学习n-way K-shot任务（即N级培训示例的N班级分类问题），这项竞赛挑战了参与者的解决方案。从各种领域（医疗保健，生态学，生物学，制造业等）提出的“任何通道”和“任何镜头”问题，他们是为了人道主义和社会影响而被选为。为此，我们创建了Meta-Album，这是来自10个域的40个图像分类数据集的元数据，从中，我们从中以任何数量的“方式”（在2-20范围内）和任何数量的“镜头”来解释任务”（在1-20范围内）。竞争是由代码提交的，在Codalab挑战平台上进行了完全盲目测试。获奖者的代码将是开源的，从而使自动化机器学习解决方案的部署可以在几个域中进行几次图像分类。

诊断出红斑的偏头膜（EM）皮肤病变，使用深度学习技术的莱姆病最常见的早期症状可以有效预防长期并发症。现有的基于深度学习的EM识别的作品仅由于缺乏与相关患者数据相关的莱姆病相关图像的数据集，因此仅利用病变图像。医师依靠患者有关皮肤病变背景的信息来确认其诊断。为了协助深度学习模型，根据患者数据计算出的概率分数，这项研究引起了15位医生的意见。对于启发过程，准备了一份与EM相关的问题和可能的答案的问卷。医生为问题的不同答案提供了相对权重。我们使用基于高斯混合物的密度估计将医生评估转换为概率得分。为了引起概率模型验证，我们利用了形式的概念分析和决策树。引起的概率得分可用于使基于图像的深度学习莱姆病预扫描剂稳健。

脑小血管疾病的成像标记提供了有关脑部健康的宝贵信息，但是它们的手动评估既耗时又受到实质性内部和间际变异性的阻碍。自动化评级可能受益于生物医学研究以及临床评估，但是现有算法的诊断可靠性尚不清楚。在这里，我们介绍了\ textIt {血管病变检测和分割}（\ textit {v textit {where valdo？}）挑战，该挑战是在国际医学图像计算和计算机辅助干预措施（MICCAI）的卫星事件中运行的挑战（MICCAI） 2021.这一挑战旨在促进大脑小血管疾病的小而稀疏成像标记的自动检测和分割方法的开发，即周围空间扩大（EPVS）（任务1），脑微粒（任务2）和预先塑造的鞋类血管起源（任务3），同时利用弱和嘈杂的标签。总体而言，有12个团队参与了针对一个或多个任务的解决方案的挑战（任务1 -EPVS 4，任务2 -Microbleeds的9个，任务3 -lacunes的6个）。多方数据都用于培训和评估。结果表明，整个团队和跨任务的性能都有很大的差异，对于任务1- EPV和任务2-微型微型且对任务3 -lacunes尚无实际的结果，其结果尤其有望。它还强调了可能阻止个人级别使用的情况的性能不一致，同时仍证明在人群层面上有用。

细胞仪可实现异质种群中精确的单细胞表型。这些细胞类型传统上是通过手动门控来注释的，但是这种方法遭受了对批处理效应的重现性和敏感性的缺乏。同样，最新的细胞仪 - 光谱流或质量细胞仪 - 创建丰富而高维的数据，其通过手动门控进行分析变得具有挑战性且耗时。为了解决这些局限性，我们引入了SCYAN（https://github.com/mics-lab/scyan），这是一个单-Cell细胞仪注释网络，该网络仅使用有关细胞测量仪面板的先前专家知识自动注释细胞类型。我们证明，SCYAN在多个公共数据集上大大优于相关的最新模型，同时更快，可解释。此外，SCYAN克服了几项互补任务，例如批处理效应，脱钉和人口发现。总体而言，该模型可以加速和简化细胞群体的特征，定量和细胞仪的发现。

学习曲线的元学习是机器学习社区中一个重要但经常被忽视的研究领域。我们介绍了一系列基于学习的基于学习的元学习挑战，其中代理商根据来自环境的学习曲线的反馈来寻找适合给定数据集的最佳算法。第一轮吸引了学术界和工业的参与者。本文分析了第一轮的结果（被WCCI 2022的竞争计划接受），以了解使元学习者成功从学习曲线学习的东西。通过从第一轮中学到的教训以及参与者的反馈，我们通过新的协议和新的元数据设计设计了第二轮挑战。我们的第二轮挑战在2022年Automl-Conf中被接受，目前正在进行中。